🧠 Градиентный спуск: когда сходимость гарантирована, а когда — нет
В линейной регрессии с функцией потерь в виде среднеквадратичной ошибки (MSE) задача выпуклая — это значит, что существует единственный глобальный минимум, и градиентный спуск (если не мешают численные ошибки) гарантированно к нему сойдётся.
🔁 Если расширить линейную регрессию, применяя нелинейные преобразования (например, полиномиальные признаки), или перейти к глубоким нейросетям, ситуация меняется: поверхность функции потерь становится невыпуклой, появляются локальные минимумы и седловые точки.
📉В таких случаях градиентный спуск может: ▪️ сойтись к локальному минимуму ▪️ застрять на плато (участке с малыми градиентами) ▪️ не достичь глобального оптимума
💡Что помогает: ▪️ оптимизаторы с моментумом (например, Adam, RMSProp) ▪️ адаптивное изменение learning rate ▪️ периодический «рестарт» обучения
⚠️Подводный камень:
Можно ошибочно считать, что градиентный спуск всегда работает, как в линейной регрессии. Но в невыпуклых задачах сходимость к глобальному минимуму не гарантируется.
🧠 Градиентный спуск: когда сходимость гарантирована, а когда — нет
В линейной регрессии с функцией потерь в виде среднеквадратичной ошибки (MSE) задача выпуклая — это значит, что существует единственный глобальный минимум, и градиентный спуск (если не мешают численные ошибки) гарантированно к нему сойдётся.
🔁 Если расширить линейную регрессию, применяя нелинейные преобразования (например, полиномиальные признаки), или перейти к глубоким нейросетям, ситуация меняется: поверхность функции потерь становится невыпуклой, появляются локальные минимумы и седловые точки.
📉В таких случаях градиентный спуск может: ▪️ сойтись к локальному минимуму ▪️ застрять на плато (участке с малыми градиентами) ▪️ не достичь глобального оптимума
💡Что помогает: ▪️ оптимизаторы с моментумом (например, Adam, RMSProp) ▪️ адаптивное изменение learning rate ▪️ периодический «рестарт» обучения
⚠️Подводный камень:
Можно ошибочно считать, что градиентный спуск всегда работает, как в линейной регрессии. Но в невыпуклых задачах сходимость к глобальному минимуму не гарантируется.
Start with a fresh view of investing strategy. The combination of risks and fads this quarter looks to be topping. That means the future is ready to move in.Likely, there will not be a wholesale shift. Company actions will aim to benefit from economic growth, inflationary pressures and a return of market-determined interest rates. In turn, all of that should drive the stock market and investment returns higher.
If riding a bucking bronco is your idea of fun, you’re going to love what the stock market has in store. Consider this past week’s ride a preview.The week’s action didn’t look like much, if you didn’t know better. The Dow Jones Industrial Average rose 213.12 points or 0.6%, while the S&P 500 advanced 0.5%, and the Nasdaq Composite ended little changed.
Библиотека собеса по Data Science | вопросы с собеседований from in
